package com.tedu.webmagic.weather;

import us.codecraft.webmagic.Spider;

/**
 * 爬主类虫的入门
 *  获取天气的数据
 *   程序入口
 *
 */
public class CreeperMain {

    public static void main(String[] args) {
        //定义爬虫核心对象
        Spider spider = Spider.create(new PageProcessorImpl());
        //设置爬虫基本信息
        spider.thread(5);//设置爬虫的线程数
        spider.addPipeline(new PipelineImpl());//设置爬虫的数据持久化对象
//        spider.addUrl("http://www.weather.com.cn/");//设置爬虫的url
        //解析具体一个页面  后面  会不要
        spider.addUrl("http://www.weather.com.cn/weather1d/101131003.shtml");
//        spider.addUrl("https://j.i8tq.com/weather2020/weatherMap/wyJsonList.js");
        spider.run();//开始爬取
    }
}
